异常检测（OD）文献表现出许多适用于不同领域的算法。但是，鉴于新的检测任务，尚不清楚如何选择要使用的算法，也不清楚如何在无监督的设置中设置其超参数（S）（HPS）。 HP调整是一个不断增长的问题，基于深度学习的许多新探测器的到来。尽管它们具有诸如任务驱动的表示学习和端到端优化之类的吸引力，但深层模型附带了一长串HP。令人惊讶的是，在离群矿业文献中选择模型的问题是“房间里的大象”。释放深层方法的最大潜力的重要因素，但很少有人说或系统地解决这个问题。在本文的第一部分中，我们对Deep OD方法的HP敏感性进行了第一个大规模分析，并通过35,000多个训练有素的模型进行了定量证明模型选择是不可避免的。接下来，我们设计了一个称为Robod的HP刺激性和可扩展的深度高音模型，该模型以不同的HP配置组装模型，绕过选择瘫痪。重要的是，我们引入了新的策略来加快整体培训的速度，例如参数共享，批处理/同时培训和数据亚采样，使我们能够更少的参数培训较少的模型。图像和表格数据集的广泛实验表明，与其现代对应物相比，机器人可以实现并保留强大的最先进的检测性能，同时仅将2-10％的时间与独立的幼稚的超氛围相比，训练。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

消息传递神经网络（MPNNs）是格拉夫神经网络（GNN）的一个常见的类型，其中，每个节点的表示是通过聚集从表示其直接邻居（消息）类似于一个星形图案递归计算。 MPNNs的呼吁是有效的，可扩展的，怎么样，曾经它们的表现是由一阶Weisfeiler雷曼同构测试（1-WL）的上界。对此，之前的作品提出在可扩展性的成本极富表现力的模型，有时泛化性能。我们的工作表示这两个政权：我们介绍抬升任何MPNN更加传神，具有可扩展性有限的开销，大大提高了实用性能的总体框架。我们从星星图案一般的子模式（例如，K-egonets）在MPNNs扩展本地聚合实现这一点：在我们的框架中，每个节点表示被计算为周边诱发子的编码，而不是唯一的近邻编码（即一个明星）。我们选择子编码器是一个GNN（主要是MPNNs，考虑到可扩展性）来设计用作一个包装掀任何GNN的总体框架。我们把我们提出的方法GNN-AK（GNN为核心），作为框架用GNNS更换内核类似于卷积神经网络。从理论上讲，我们表明，我们的框架比1和2-WL确实更强大，并且不超过3-WL那么强大。我们还设计子取样策略，可大大降低内存占用和提高速度的同时保持性能。我们的方法将大利润率多家知名图形ML任务新的国家的最先进的性能;具体地，0.08 MAE锌，74.79％和86.887％的准确度上CIFAR10和分别PATTERN。

有效的探索仍然是强化学习中有挑战性的问题，特别是对于来自环境的外在奖励稀疏甚至完全忽视的任务。基于内在动机的重要进展显示了在简单环境中的有希望的结果，但通常会在具有多式联运和随机动力学的环境中陷入困境。在这项工作中，我们提出了一种基于条件变分推理的变分动力模型来模拟多模和随机性。通过在当前状态，动作和潜在变量的条件下产生下一个状态预测，我们考虑作为条件生成过程的环境状态动作转换，这提供了更好地了解动态并在勘探中引发更好的性能。我们派生了环境过渡的负面日志可能性的上限，并使用这样一个上限作为勘探的内在奖励，这使得代理通过自我监督的探索来学习技能，而无需观察外在奖励。我们在基于图像的仿真任务和真正的机器人操纵任务中评估所提出的方法。我们的方法优于若干基于最先进的环境模型的勘探方法。

We investigate the representation power of graph neural networks in the semisupervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs-ego-and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations-that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H 2 GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

With the attention mechanism, transformers achieve significant empirical successes. Despite the intuitive understanding that transformers perform relational inference over long sequences to produce desirable representations, we lack a rigorous theory on how the attention mechanism achieves it. In particular, several intriguing questions remain open: (a) What makes a desirable representation? (b) How does the attention mechanism infer the desirable representation within the forward pass? (c) How does a pretraining procedure learn to infer the desirable representation through the backward pass? We observe that, as is the case in BERT and ViT, input tokens are often exchangeable since they already include positional encodings. The notion of exchangeability induces a latent variable model that is invariant to input sizes, which enables our theoretical analysis. - To answer (a) on representation, we establish the existence of a sufficient and minimal representation of input tokens. In particular, such a representation instantiates the posterior distribution of the latent variable given input tokens, which plays a central role in predicting output labels and solving downstream tasks. - To answer (b) on inference, we prove that attention with the desired parameter infers the latent posterior up to an approximation error, which is decreasing in input sizes. In detail, we quantify how attention approximates the conditional mean of the value given the key, which characterizes how it performs relational inference over long sequences. - To answer (c) on learning, we prove that both supervised and self-supervised objectives allow empirical risk minimization to learn the desired parameter up to a generalization error, which is independent of input sizes. Particularly, in the self-supervised setting, we identify a condition number that is pivotal to solving downstream tasks.

在域移位下，跨域几个射击对象检测旨在通过一些注释的目标数据适应目标域中的对象检测器。存在两个重大挑战：（1）高度不足的目标域数据； （2）潜在的过度适应和误导性是由不当放大的目标样本而没有任何限制引起的。为了应对这些挑战，我们提出了一种由两个部分组成的自适应方法。首先，我们提出了一种自适应优化策略，以选择类似于目标样本的增强数据，而不是盲目增加数量。具体而言，我们过滤了增强的候选者，这些候选者在一开始就显着偏离了目标特征分布。其次，为了进一步释放数据限制，我们提出了多级域感知数据增强，以增加增强数据的多样性和合理性，从而利用了跨图像前景 - 背景混合物。实验表明，所提出的方法在多个基准测试中实现了最先进的性能。

由不同类型的节点和边缘组成的学习异质图增强了均匀图技术的结果。这样的图形的一个有趣示例是代表可能的软件代码执行流的控制流图。由于此类图代表了代码的更多语义信息，因此为这些图形开发技术和工具可能对检测软件中的漏洞的可靠性非常有益。但是，现有的异质图技术仍然不足以处理复杂的图形，在处理复杂的图形中，不同类型的节点和边缘数量较大且可变。本文集中于以太坊智能合约作为由构建在控制流图和包含不同类型的节点和链接的呼叫图的异质合同图表示的软件代码样本。我们提出了曼多（Mando），这是一种新的异质图表示，以学习这种异质合同图的结构。 Mando提取自定义的Metapaths，该Metapaths在不同类型的节点及其邻居之间建立了关系连接。此外，它开发了一个多米达异构图注意网络，以学习不同类型的节点及其在异质合同图中的多层嵌入，可以更准确地捕获智能合约的代码语义，并便利两者。 - 水平和粗粒合同级别的漏洞检测。我们对大型智能合同数据集的广泛评估表明，曼多（Mando）在粗粒合同水平上改善了其他技术的脆弱性检测结果。更重要的是，它是第一种基于学习的方法，能够在细粒度的线条层面上识别漏洞，并在F1分数方面将基于代码分析的传统漏洞检测方法显着提高了11.35％至70.81％。

鉴于它在提取功能表示方面的力量，对比性的自我监督学习已成功整合到（深）强化学习（RL）的实践中，从而在各种应用程序中提供了有效的政策学习。尽管取得了巨大的经验成功，但对RL的对比学习的理解仍然难以捉摸。为了缩小这样的差距，我们研究了Markov决策过程（MDP）和Markov Games（MGS）的对比度学习如何赋予RL的能力。对于这两种模型，我们建议通过最大程度地减少对比度损失来提取低级别模型的正确特征表示。此外，在在线环境下，我们提出了新颖的上限置信界（UCB）型算法，该算法将这种对比度损失与MDP或MGS的在线RL算法结合在一起。从理论上讲，我们进一步证明了我们的算法恢复了真实表示形式，并同时在学习MDP和MGS中学习最佳策略和NASH平衡方面同时实现了样本效率。我们还提供实证研究，以证明基于UCB的RL的对比度学习方法的功效。据我们所知，我们提供了第一种可证明有效的在线RL算法，该算法结合了代表学习的对比学习。我们的代码可从https://github.com/baichenjia/contrastive-ucb获得。

现有的基于深度学习（基于DL的）无监督的显着对象检测（USOD）方法基于传统显着性方法和预处理深网的先验知识，在图像中学习显着信息。但是，这些方法采用了一种简单的学习策略来训练深层网络，因此无法将培训样本的“隐藏”信息正确地纳入学习过程。此外，对于分割对象至关重要的外观信息仅在网络训练过程后用作后处理。为了解决这两个问题，我们提出了一个新颖的外观引导的细心自进度学习框架，以无视显着对象检测。提出的框架将自定进度的学习（SPL）和外观指导集成到统一的学习框架中。具体而言，对于第一期，我们提出了一个细心的自进度学习（ASPL）范式，该范式以有意义的命令组织培训样本，以逐步挖掘更详细的显着性信息。我们的ASPL促进了我们的框架，能够自动产生软关注权重，以纯粹的自学方式衡量训练样本的学习难度。对于第二期，我们提出了一个外观指南模块（AGM），该模块将每个像素作为显着性边界的概率的局部外观对比，并通过最大化概率找到目标对象的潜在边界。此外，我们通过汇总其他模态数据的外观向量，例如深度图，热图像或光流，将框架进一步扩展到其他多模式SOD任务。关于RGB，RGB-D，RGB-T和视频SOD基准的广泛实验证明，我们的框架可以针对现有的USOD方法实现最新性能，并且与最新的监督SOD方法相当。